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Дифференциальное оценивание знаний при 
дистанционном тестировании 


В статье исследованы основные подходы к созданию тестов, приведена классификация форм тестовых 
заданий. В работе авторами предлагаются принципы построения дифференциальной модели процесса 
тестирования, поддерживающей индивидуальность оценивания заданий разных форм, а также приводится 
технология оценивания вероятности угадывания правильных ответов для каждой из форм тестовых 
заданий. 


Особое внимание в системе дистанционного обучения (ДО) уделяется конт- 
ролю качества усвоения теоретического материала и тестированию приобретенных 
знаний и практических навыков обучаемого. Решение проблемы контроля качества 
ДО и соответствие образовательным стандартам имеет принципиальное значение для 
успеха всей системы ДО. Кроме того, при удаленном тестировании и контроле долж- 
ны решаться проблемы индивидуализации процесса обучения и контроля знаний. Для 
решения этой проблемы разработано адаптивное тестирование знаний. Адаптивный 
тест представляется как вариант автоматизированной системы тестирования, в кото- 
рой заранее известны параметры трудности и дифференцирующей способности каждого 
задания. Эта система создана в виде компьютерного банка заданий, упорядоченных в 
соответствии с интересующими характеристиками заданий. Основной из задач разработки 
адаптивного теста является построение системы оценивания адаптивного тестирования. 

В настоящий момент в зарубежной педагогической практике существуют несколько 
подходов к созданию тестов, отвечающих научно-обоснованным критериям качества. 
Первый подход базируется на применении стандартных для математической статистики 
корреляционных и факторных методов анализа. Второй современный подход зарож- 
дался в рамках теории латентно-структурного анализа, основная цель которого — 
оценить скрытые (латентные) параметры испытуемых. Пионерской работой в области 
второго подхода является труд датского математика Г. Раша [1], вышедший в 1960 г. 
Именно он дал толчок интенсивному развитию за рубежом серьёзной теоретической 
базы тестирования, вылившейся в современную теорию тестирования — Нет Везропзе 
ТрБеогу ТВТ). Первые сведения по этой теории на русском языке появились только в 
1995 г. в работе Р. Хамблетона [2]. 

Основная цель состоит в разработке математической модели процесса тестиро- 
вания, параметрами которой, подлежащими определению, служат различные характерис- 
тики участников тестирования и самого теста. В настоящее время ВТ представляет собой 
довольно обширную и, к сожалению, непростую теорию, активно использующую разно- 
образный арсенал математических методов [3]. Поэтому зачастую целесообразно бывает 
использовать сочетание двух упомянугых теорий. С помощью статистических методов 
классической теории проводится первичный анализ качественных характеристик полу- 
ченного варианта теста, а с помощью ВТ, более углублённый анализ характеристик 
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тестовых заданий. Наиболее эффективным использование 1ВТ становится при сфор- 
мированном банке тестовых заданий, что обеспечивает возможность автоматической 
генерации тестов с определёнными наперёд заданными и научно-обоснованными харак- 
теристиками точности и надёжности. 

Основными недостатками рассмотренных моделей является использование дихото- 
мической и политомической шкал оценивания знаний, а также относительная сложность 
реализации применяемых математических методов при построении систем адаптив- 
ного дистанционного тестирования знаний. 

Целью статьи является разработка дифференциальной модели процесса адап- 
тивного тестирования знаний при прохождении дистанционного обучения, учитываю- 
щей уровень сложности заданий, вероятность угадывания правильных ответов, а также 
учитывающей оценивание заданий различных форм по непрерывной шкале оцени- 
вания. 


1. Построение дифференциальной модели процесса 
тестирования 


При прохождении адаптивного теста в каждый момент времени обучаемые 
выполняют некоторые задания. По результатам выполнения каждого из заданий 
выдвигаются условия для выбора следующего задания из базы знаний. 

Исходя из сказанного выше, построим дифференциальную модель процесса 
оценивания знаний с помощью тестирования. Дифференциальная модель представ- 
ляет собой дифференциальное уравнение, полученное в результате исследования 
какого-либо реального явления или процесса [4], в данном случае, процесса оцени- 
вания теста. 

Итак, пусть некоторый обучаемый проходит адаптивное тестирование. Ему 
предлагается выполнить цепочку из М заданий, причем результат выполнения теста А 
в каждый момент времени (при выполнении каждого последующего задания) зависит 
от результатов, полученных при выполнении предыдущих заданий. Таким образом, 
результат выполнения теста изменяется непрерывно и, более того, он дифферен- 
цируем как функция, зависящая от количества выполненных заданий. Конечно, это 
утверждение является упрощением реальной ситуации, поскольку А — целое число. 

Для построения модели проведем анализ процесса адаптивного тестирования. 
Рассмотрим процесс прохождения тестирования и выделим основные параметры, 
влияющие на результат прохождения тестирования. 

1. При прохождении адаптивного тестирования каждому из заданий присваи- 
вается уровень сложности 2; (2 =1,7). В связи с этим, чем больше вероятность 
выполнения задания правильно, тем ниже уровень сложности задания. 

2. Для получения объективной оценки знаний при прохождении тестирования 
рекомендуется использовать непрерывную шкалу оценивания. При этом за выпол- 
нение каждого из заданий теста обучаемый получает некоторый коэффициент 
= [0:1], причем этот коэффициент определяется индивидуально для каждой из 


форм тестовых заданий. 
3. Одной из основных проблем тестирования является вероятность угадывания 
правильных вариантов ответа. Следовательно, в дифференциальную модель процесса 


проведения адаптивного тестирования введем параметр и, соответствующий веро- 


ятности угадывания правильного варианта ответа для каждой их форм тестовых 
заданий. 
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4. Для получения результата в заданной шкале оценивания знаний введем 
специальный параметр В — балльность системы. Рассмотрим алгоритм перевода 
результата тестирования в произвольную шкалу оценивания знаний. Для корректного 
перевода результата в любую систему оценивания знаний необходимо всем значимым 
результатам оценивания в порядке возрастания поочередно присвоить коэффициенты 
балльности, начиная с 1. Максимальное значение коэффициента балльности и будет 
соответствовать параметру В. 

При учете введенных параметров, влияющих на результат прохождения теста, 
динамика изменения результата выполнения теста при выполнении каждого из 
заданий может быть описана формулой 1. 


ав а И: 
НАХ а п. и )( 2,) н (1) 
ам а(м-—1) В р 

где 4 _ дифференциальное оценивание результата прохождения теста в данный 


момент времени; 


4 _ дифференциальное оценивание результата прохождения теста в 


а(№М-1) 
предыдущий момент времени (при выполнении (№ - /) задания); 

№ — количество тестовых заданий, выполненных обучаемым в данный момент 
времени; 

т, — коэффициент оценивания заданий разных форм. Непрерывная величина 
изменяется в диапазоне [0,1]; 

2, — уровень сложности 1-го задания; 


и’; — вероятность угадывания правильного ответа; 
В — балльность системы; 


(- суммарная сложность теста. Параметр является накопительным и 
определяется по формуле 2. 


й=У2, (2) 


1 


где :Г-— номер задания; 

№, — номер текущего выполняемого задания. 

Задача состоит в том, чтобы указать соответствующие формулы для введенных 
выше величин коэффициента оценивания заданий разных форм и; и вероятности 
угадывания правильного ответа у. 


2. Классификация форм тестовых заданий 


В настоящее время существует несколько классификаций форм тестовых 
заданий [5-7]. Авторами предлагается при построении теста использовать формы 
тестовых заданий, приведенных в классификационной схеме, представленной на 


рис. 1 [8]. 
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Тестовое задание 


Закрытое Многошаговое 


Многоальтернативное На введение термина 
Одноальтернативное На заполнение таблиц |-— 


На введение арифме- 
тического выражения 


Открытое 


На установление На установление 
соответствия последовательности 


Рисунок 1 — Классификационная схема тестовых заданий 


3. Определение коэффициентов оценивания заданий 
разных форм 


Для того, чтобы объективно оценить знания по тестовым заданиям разных 
форм предлагается использовать для каждой из них свою методику расчета оценки. 
Определим коэффициент оценивания для ответов на тестовые задания разных форм в 
отдельности. 


3.1. Одноальтернативные тестовые задания 


Для оценивания одноальтернативного тестового задания достаточно примене- 
ние известной и широко используемой дихотомической шкалы оценивания, где 1 
соответствует правильному ответу, 0 — неправильному. Следовательно, в этом случае 


коэффициент 7, принимает одно из значений 0 или 1. 


3.2. Многоальтернативные тестовые задания 


При оценивании многоальтернативных заданий этой шкалы недостаточно, так 
как обучаемый может дать неполный ответ, либо один из выбранных вариантов от- 
вета будет неточен. Такие ответы нельзя оценивать так же, как и вопросы, в которых 
был выбран полностью неправильный ответ. В случае многоальтернативного тестового 
задания необходимо учитывать не только правильность ответа на задание в целом, но 
и количество вариантов ответа, выбранных обучаемым. В данном случае коэффициент 


7. предлагается рассчитывать по формуле 3. 


2 бы (3) 
(О, +0, ) 
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где О! множество всех правильных вариантов ответа в задании, 
О> - количество правильных вариантов ответа, выбранных обучаемым, 
Оз- количество неправильных вариантов ответа, выбранных обучаемым. 


3.3. Задания на установление соответствия 


При ответе на задание на установление соответствия каждую пару ответов 
можно рассматривать как отдельный вариант ответа и при выставлении результата 
выполнения задания следует учитывать, сколько пар было выбрано верно. Следова- 


тельно, коэффициент 7, необходимо рассчитывать по формуле (4). 


„-©, (4) 
О, 


где О, - количество пар для сопоставления; 
О>› - количество верно составленных пар. 


3.4. Задания на установление последовательности 


При оценивании заданий на установление правильной последовательности возмо- 
жен только один заведомо правильный ответ. Следовательно, для оценивания данной 
формы тестовых заданий достаточно использовать дихотомическую шкалу оценива- 


ния, коэффициент 7, принимает значение 0 или 1. 


3.5. Задания на заполнение таблиц 


Одной из форм открытых тестовых заданий является заполнение таблиц. Каж- 
дая ячейка таблицы является отдельным вариантом ответа и, если одна из ячеек 
заполнена неправильно, такой ответ нельзя засчитывать как полностью неправиль- 
ный (введение одного неверного значения в ячейку может быть лишь механическая 
ошибка, и поэтому оно должно не полностью обнулить результат выполнения работы, а 
лишь снизить результат выполнения задания). Для определения коэффициента оценивания 
заданий на заполнения таблиц рекомендуется использовать показательную функцио- 
нальную зависимость, представленную формулой (5). 


5 
г: -2 9 —1, (5) 


где О, - количество ячеек, которые предлагается заполнить тестируемому; 
О› - количество ячеек, которое тестируемый заполнил правильно. 
3.6. Многошаговые тестовые задания 


Многошаговые тестовые задания состоят из набора заданий (набора шагов), 
решаемых последовательно, когда переход к следующему шагу задания осуществ- 
ляется только после правильного ответа на предыдущий шаг. Это дает возможность 
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обучаемому анализировать не только задание в целом, но и разбираться в каждой 
составляющей задания. Благодаря этому обучаемый сразу может увидеть, где им 
допущена ошибка и в дальнейших шагах получить правильные исходные данные, то 
есть ошибки в заданиях не будут накапливаться. Многошаговое задание считается 
пройденным, если на каждом его шаге получен правильный ответ. Для объективного 
оценивания ответа и глубины знаний обучаемого используется счетчик допускаемых 
ошибок, количество которых учитывается при выставлении оценки. 

Многошаговое задание считается пройденным, если на любом его шаге получен 
правильный ответ. Для объективного оценивания ответа и глубины знаний обучае- 
мого используется счетчик допускаемых ошибок, количество которых учитывается 
при выставлении оценки. Однако встает вопрос об оценивании таких вопросов. Для 
них простая дихотомическая шкала не подходит. Рекомендуемая формула для 
вычисления коэффициента правильности для многошагового тестового задания 
имеет вид (6). 


= (6) 


где 1 номер шага, 
т; — количество ошибок, допущенных на 1-м шаге, 
п — количество шагов. 

Формула (6) справедлива для многошаговых тестовых заданий, в которых на 
каждом шаге используются одноальтернативные задания или задания на установление 
правильной последовательности. В случае использования на каком-либо из шагов 
тестового задания на соответствие или многоальтернативного тестового задания 
целесообразно использовать формулы (7) и (8) соответственно. 


Хо, ® 
= т; УЕ о, 
где 7 — номер попытки прохождения шага, если на нем была допущена ошибка: 
0, — количество пар для составления на 1-м шаге при /-й попытке; 
У 
О, — количество верно составленных пар на 1-м шаге при /-й попытке. 
2. 
_ 1% т -О, (8) 


В 
2 
г = 2 


п ©, +0, ) 


где О, - количество правильных вариантов ответов 1-м на шаге при /-й попытке; 
ый 


О, - количество правильных ответов, выбранных тестируемым на 1-м шаге; 
О, - количество неправильных ответов, выбранных тестируемым на 1-м шаге 
ы 


при /-й попытке. 
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4. Оценивание вероятности угадывания правильных 
ответов для каждой из форм тестовых заданий 


Использование выборочных ответов сопряжено с возможностью неадекватной 
оценки знаний обучаемого в случае случайного ввода правильного ответа. Оценим 
эту вероятность для ответов на тестовые задания разных типов. 


4.1. Закрытое тестовое задание 


Для ответа на тестовые задания закрытого типа рассмотрим в отдельности ответ 
на одноальтернативные и многоальтернативные тестовые задания. 

Одноальтернативное тестовое задание. 

Одноальтернативные тестовые задания представляют собой задания, в которых 
М№ вариантов, ответа один из которых правильный. Вероятность угадывания правиль- 


ного ответа У) в данном случае определяется по формуле 9. 
Е, (9) 


Многоальтернативное тестовое задание. 
При выполнении многоальтернативных тестовых заданий обучаемому предла- 
гается из М вариантов ответа выбрать А правильных (0 < К < №). Вероятность ввода 


ь 1 
каждого ответа для выборки длиной К определяется как уу, =—_ , где М — общее 
М 


количество возможных ответов. В случае, если заведомо известно количество правиль- 
ных вариантов ответа, значение М рассчитывается по формуле 10. 


м! 
Е . 
М == (10) 
(МЮ 
Общее число возможных ответов М на многоальтернативное задание при 
заранее неизвестном числе А равно количеству всех возможных вариантов выбора 
ответа. Следовательно, 


М 
Из комбинаторики известно [9], что УС: =2*. Значение К неизвестно обучае- 
А=0 


мому, следовательно, можно считать все значения А равновероятными. Только один 
из возможных вариантов ответа является правильным. Таким образом, вероятность 
угадывания правильного ответа определяется по формуле 11. 


и, =—.. (11) 
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4.2. Тестовое задание на установление правильной 
последовательности 


При составлении тестового задания на установление последовательности воз- 
можны 2 варианта представления списка элементов последовательности. В первом 
случае обучаемому необходимо составить последовательность, включив все элементы 
последовательности. Во втором случае предлагается выбрать последовательность 
элементов, включив в нее только необходимые элементы. Рассмотрим оба случая. 

== Задание, в котором все М№ элементов последовательности входят в ответ. 

Для заданий, в которых необходимо составить последовательность из всех 
предложенных элементов, задача определения количества возможных комбинаций 
ответа сводится к нахождению числа перестановок элементов последовательности. 
Таким образом, количество М возможных ответов определяется по формуле 
М =М№!. Таким образом, вероятность угадывания правильного ответа для списка 
определяется по формуле 12. 


1 
м, = — (12) 

— Задание, в котором из № предложенных элементов К входит в правильную 
последовательность. 

Для рассматриваемого случая минимальное значение К равно 2, так как после- 
довательность меньшей длины не имеет смысла. Количество М возможных вариантов 
ответа можно определить как размещение из № по „А. Следует также учесть, что значе- 
ние К изменяется от 2 до №. Таким образом, количество М различных вариантов 
перестановок определяется по формуле 13. 


“м 
И ву |. 


Правильным является единственный вариант, поэтому вероятность случайного 
ввода правильного ответа У’, определяется по формуле 14. 


а (14) 


Мм“ м 
(МЮ) 


4.3. Тестовое задание на установление соответствия 


При выполнении тестовых заданий на установление соответствия возможно 

представление ответа одним из следующих способов: 

1. Имеется 2 списка по т элементов. Необходимо составить 7" пар. 

2. Имеется 2 списка по т и и элементов соответственно (т < п). Необходимо 
составить т пар. 

3. Имеется 2 списка по ти и элементов соответственно (т < п). Необходимо 
составить / пар (1< т). 

Рассмотрим каждый из способов в отдельности. 

1. При установлении соответствия между элементами двух множеств с одина- 
ковым количеством элементов общее количество возможных вариантов введения 
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ответа М = (и1!)*. Следовательно, в этом случае вероятность случайного ввода пра- 
вильного ответа определяется по формуле 15. 


пе ты (15) 
(т!)’ 
2. В случае, когда необходимо установить соответствие между т парами, 
причем количество элементов в одном из множеств и (т<и), количество возможных 
вариантов ответа возрастет и будет определятся по формуле 16. 


ти! 
М=РА" А (16) 
(п-т)! 


Вероятность угадывания ответа в таком случае определяется по формуле 17. 


_ п-т)! 


(17) 


\ 
пт! 


3. Для получения задания на установление соответствия с наименьшей вероят- 
ностью угадывания рекомендуется добавлять «лишние» элементы в оба множества 
элементов. Пусть имеется 2 множества, состоящие из ти и элементов соответст- 
венно. При установлении составления для / пар ([5т, [<п) общее количество воз- 
можных ответов можно определить по формуле 18. 


ти 
И (18) 
(т-Р!и- 1! 


Вероятность угадывания ответа в случае, когда в задании на установление 
соответствия В оба множества элементов добавлены «лишние» элементы, определя- 
ется по формуле 19. 


_ (иг! 
т!п! 
4.4. Открытое тестовое задание 


При выполнении открытых тестовых заданий обучаемому не предлагаются 
варианты ответа, поэтому вероятность угадывания правильного ответа стремится к 
нулю. 


4.5. Многошаговое тестовое задание 


При оценивании вероятности угадывания правильного ответа во время выпол- 
нения многошагового тестового задания первоначально необходимо оценить вероятность 


угадывания правильного ответа И’ на каждом из / шагов в отдельности. Общий 


результат в данном случае определяется по формуле 20. 


и, = П и, . (20) 


«Штучний 1нтелект» 12009 71 


Белоус Н.В., Куцевич И.В. 
У ЕВА, ее ыыы 


4.6. Сравнительный анализ форм тестовых заданий учитывая 
вероятность угадывания правильного ответа 


Рассмотрим вероятности случайного ввода правильного ответа в зависимости 
от количества вариантов ответа для тестовых вопросов с одним списком ответов. Для 
наглядности сравнения составим табл. 1, содержащую значения вероятности угады- 
вания для тестовых заданий с количеством ответов от 3 до 7. 


Таблица 1 — Вероятности угадывания правильного ответа для тестовых заданий 
с одним списком ответов 


Количество Форма тестового задания 
заданий, № Одноальтер- | Многоальтер- | Тестовое задание на установление 
нативное нативное последовательности 
тестовое тестовое Включающее Включающее не 
задание задание все элементы все элементы 
У! М’? Уз У 
ь 0,33333 0,12500 0,16667 0,08333 
4 0,25000 0,06250 0,04167 0,01667 
э 0,20000 0,03125 0,00833 0,00278 
6 0,16667 0,01563 0,00139 0,00051 
7 0,14286 0,00781 0,00019 0,00007 


На основании анализа полученных данных можно сделать следующие выводы: 
— многоальтернативное тестовое задание значительно предпочтительнее одноаль- 
тернативного; 

— тестовое задание на установление правильной последовательности, естественно, 
имеет меньшую вероятность случайного ввода правильного ответа, чем закрытое тес- 
товое задание; 

— при наличии «лишних» вариантов в ответе на задание на установление правильной 
последовательности его оценка улучшается еще приблизительно в 2 — 3 раза. 

В свою очередь, следует отметить, что тестовое задание на установление 
соответствия имеет еще меньшую вероятность угадывания правильного ответа при 
соизмеримом количестве вариантов ответа с рассмотренными выше формами тестовых 
заданий. В свою очередь, для уменьшения вероятности угадывания рекомендуется в 
одно из множеств, между которыми устанавливается соответствие (либо в оба) вво- 
дить «лишние» элементы. 


Выводы 


Предложенная модель дифференциального оценивания знаний универсальна 
для применения в различных системах оценивания, а также проста для использо- 
вания при реализации систем адаптивного дистанционного тестирования знаний. 
Поскольку при проведении тестирования существует возможность неадекватной 
оценки знаний обучаемого в случае случайного ввода правильного ответа, в работе 
проведена оценка предложенных форм тестовых заданий с точки зрения величины 
такой вероятности. 
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Полученные результаты планируется использовать при построении модифици- 


рованной системы проведения дистанционного адаптивного тестирования знаний в 
системе дистанционного образования Харьковского национального университета 
радиоэлектроники по курсу «Основы дискретной математики». 
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Н.В. Бллоус, 1.В. Куцевич 

Диференщальне ощнювання знань при дистанщИному тестуванн! 

У стат дослиджен! основн! шдходи до створення теств, наведена класифлкащя форм тестових завдань. 
У робот! авторами пропонуються принципи побудови диференщально! модел! процесу тестування, яка 
шдтримуе 1ндивндуальнсть ошнювання завдань р!зних форм, а також наводиться техноломя ощнювання 
ймов!рност! вгадування в1рних в1дпов1дей. 
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